Il primo nucleo venne costruito alla fine del XII secolo, in corrispondenza con la nascita del Libero Comune (1183). Tra il XIII secolo ed il XIV secolo gli fu costruito accanto l'edificio del comune. Sulla base di disegni settecenteschi e della pianta calcografica di Ascoli realizzata da Emidio Ferretti nel 1646, è possibile avere un'idea sommaria della struttura e della composizione del complesso in origine. Esso doveva essere limitato al semplice fronte sulla piazza, costituito da due distinti edifici, dalle linee piuttosto semplici, che poi proseguivano, fino all'angolo con via Tornasacco, sul cui spigolo era collocata la Torre civica.

 

Nel Quattrocento, entrambi passarono in proprietà della Camera Apostolica che vi pose la sede del Governatore Pontificio fino al 1564.

 

Nel 1610 Giovan Battista Cavagna, architetto della Santa Casa di Loreto, progettò l'unificazione delle due costruzioni mediante due facciate ortogonali fra loro; tuttavia lavori di più ampio respiro, ritenuti non più rimandabili, ebbero inizio solo a partire dal 1679, partendo dalla costruzione del nuovo fronte laterale, prospiciente Via Tornasacco.

 

In quell'anno, modificando il progetto del Cavagna, lo scultore e architetto Giuseppe Giosafatti, progettò nuovamente la facciata, apportando innovazioni significative e facendola avanzare di alcuni metri verso la piazza, ponendola in questo modo sulla medesima linea dell'adiacente Palazzo Roverella, l'ala cinquecentesca del Palazzo Vescovile. La costruzione fu portata a compimento in tutte le sue componenti, anche decorative, dai figli Lazzaro e Lorenzo Giosafatti entro il 1745.

 

La facciata è realizzata in blocchi squadrati di travertino. Nella parte centrale presenta un portico a cinque arcate divise da lesene bugnate. Sopra la fascia marcapiano si aprono le finestre del primo piano con frontespizi su cariatidi. Le finestre del secondo piano hanno telamoni reggenti, grossi cartocci e volute. Il grande portale bugnato, realizzato da Silvio Giosafatti nel 1658, immette nel nuovo ingresso voltato e taglia nel mezzo il salone al piano terra risalente al XIII secolo. Questo era un unico spazio a tre navate con otto campate con volte a crociera su colonne cilindriche. Veniva chiamato fondachi ed era utilizzato come aula giudiziaria, mercato e deposito di merci.

 

All'interno di questo palazzo, oggi, ha sede la Pinacoteca Civica e diversi uffici comunali, tra cui quello del Sindaco.